Funkcja aktywacji
Funkcja aktywacji – pojęcie używane w sztucznej inteligencji do określenia funkcji, według której obliczana jest wartość wyjścia neuronów sieci neuronowej.
Po agregacji danych wejściowych z uwzględnieniem wag powstaje sygnał sumarycznego pobudzenia. Rola funkcji aktywacji polega na tym, że musi ona określić sposób obliczania wartości sygnału wyjściowego neuronu na podstawie wartości tego sumarycznego pobudzenia[1].
W literaturze rozważano wiele różnych propozycji funkcji aktywacji, jednak najpowszechniejsze są cztery: funkcja liniowa (neuron liniowy), funkcja sigmoidalna (funkcja logistyczna, neuron sigmoidalny), funkcja tangensoidalna (funkcja tangens hiperboliczny, neuron tangensoidalny) oraz funkcja Gaussa (neuron radialny)[1].
W poniższej tabeli przedstawiono funkcje aktywacji wraz z wzorami matematycznymi i dodatkowymi informacjami.
Funkcja aktywacji | Wzór matematyczny | Gładka | Monotoniczna | Różniczkowalna | Uwagi |
---|---|---|---|---|---|
Funkcja liniowa | ![]() |
![]() |
![]() |
| |
Jednostronnie obcięta funkcja liniowa | ![]() |
![]() |
![]() |
| |
Obcięta funkcja liniowa |
|
![]() |
![]() |
![]() |
|
Funkcja progowa unipolarna |
|
![]() |
![]() |
![]() |
|
Funkcja progowa bipolarna |
|
![]() |
![]() |
![]() |
|
Sigmoidalna funkcja unipolarna (funkcja logistyczna) |
|
![]() |
![]() |
![]() |
|
Sigmoidalna funkcja bipolarna (tangens hiperboliczny) |
|
![]() |
![]() |
![]() |
|
Funkcja Gaussa |
|
![]() |
![]() |
![]() |
|
Znormalizowana funkcja wykładnicza (softmax) | ![]() |
![]() |
![]() |
|
Przypisy
[edytuj | edytuj kod]- ↑ a b Ryszard Tadeusiewicz, Maciej Szaleniec: Leksykon sieci neuronowych. s. 34. ISBN 978-83-63270-10-0.